Self-Compacting Language Model Agents
自压缩语言模型智能体：基于评分规则的自适应上下文压缩
🧭 自适应上下文压缩 · 评分规则栅控 ★ 深度解读
Johns Hopkins University · Apple
提出训练无关的自适应上下文压缩方法，通过轻量规则让模型自决定压缩时机，避免固定间隔压缩破坏中间推理
📌 工作参考价值（4 点）
- 长轨迹Agent的上下文管理：可借鉴评分规则（rubric）用于决定何时压缩历史，避免在模型推导或搜索中途破坏信息，尤其适合电商客服、推荐解释生成等需要多轮推理的场景，提高答案正确性并降低上下文长度。
- 低成本KV-cache复用：压缩触发时仅追加总结指令，重用已有缓存的trajectory tokens，几乎零预填充开销，相比重新编码大量上下文可节省30%-70%的计算成本，适合部署在在线服务中。
- 任务特定规则设计：根据任务特性编写轻量级栅控提示（如数学中的“是否已得最终答案”、“是否陷入停滞”），无需训练即可引导模型在安全点压缩，可直接迁移到搜索推荐中的多步检索、方案生成等流程。
- 训练无关的元认知增强：暴露“压缩工具”并配合规则，让模型表现出类似元认知的自省能力，可适用于任何支持工具调用的开源模型，无finetuning成本，可快速实验。